Leaning-based control of an immersive telepresence robot

Abstract. This thesis presents an implementation of a leaning-based control method which allows using the body to drive a telepresence robot. The implementation consisted of a control mapping to drive a differential drive telepresence robot using a Nintendo Wii Balance Board (Wiiboard). The motivation for using a balance board as a control device was to reduce Virtual Reality (VR) sickness by using small movements of your own body matching the motions seen on the screen; matching the body movement to the motion seen on the screen could mitigate sensory conflict between visual and vestibular organs which is generally held as one of the main causes for VR sickness. A user study (N=32) was conducted to compare the balance board to joysticks, in which the participants drove a simulated telepresence robot in a Virtual Environment (VE) along a marked path using both control methods. The results showed that the joystick did not cause any more VR sickness on the participants than the balance board, and the board proved to be statistically significantly more difficult to use, both subjectively and objectively. The balance board was unfamiliar to the participants and it was reported as hard to control. Analyzing the open-ended questions revealed a potential relationship between perceived difficulty and VR sickness, meaning that difficulty possibly affects sickness. The balance board’s potential to reduce VR sickness was held back by the difficulty to use it, thus making the board easier to use is the key to enabling its potential. A few suggestions were presented to achieve this goal.Immersiivisen etäläsnäolorobotin nojaamiseen perustuva ohjaus. Tiivistelmä. Tämä diplomityö esittelee nojautumiseen perustuvan ohjausmenetelmän toteutuksen, joka mahdollistaa etäläsnäolorobotin ohjaamisen käyttämällä kehoa. toteutus koostui ohjauskartoituksesta tasauspyörästö vetoisen etäläsnäolorobotin ohjaamiseksi Nintendo Wii Balance Board -tasapainolaudan avulla. Motivaatio tasapainolaudan käyttämiseen ohjauslaitteena oli vähentää virtuaalitodellisuus pahoinvointia käyttämällä pieniä oman kehon liikkeitä, jotka vastaavat näytöllä näkyviä liikkeitä; kehon liikkeen sovittaminen yhteen näytöllä nähtyyn liikkeeseen voi lieventää näkö- ja tasapainoelinten välistä aistiristiriitaa, jota pidetään yleisesti yhtenä pääsyistä virtuaalitodellisuus pahoinvointiin. Tasapainolautaa verrattiin ohjaussauvoihin käyttäjätutkimus (N=32), jossa osallistuja ajoivat simuloitua etäläsnäolorobottia virtuaaliympäristössä merkittyä reittiä pitkin käyttämällä molemmilla ohjausmenetelmiä. Tulokset osoittivat, että ohjaussauvat ei aiheuttanut osallistujille enempää virtuaalitodellisuus pahoinvointia kuin tasapainolauta, ja lauta osoittautui tilastollisesti merkitsevästi vaikeammaksi käyttää sekä subjektiivisesti että objektiivisesti. Tasapainolauta oli osallistujille tuntematon, ja sen ilmoitettiin olevan vaikeasti hallittava. Avointen kysymysten analysointi paljasti mahdollisen yhteyden koetun vaikeuden ja virtuaalitodellisuus pahoinvoinnin välillä, mikä tarkoittaa, että vaikeus voi mahdollisesti vaikuttaa pahoinvointiin. Tasapainolaudan vaikeus rajoitti sen potentiaalia vähentää virtuaalitodellisuus pahoinvointia, mikä tarkoittaa, että laudan käytön helpottaminen on avain sen potentiaalin saavuttamiseen. Muutamia ehdotuksia esitettiin tämän tavoitteen saavuttamiseksi

Effectiveness of a Wii Balance Board as a locomotion control method for a virtual reality telepresence robot

Abstract. While virtual reality can greatly contribute to the feeling of presence when operating a telepresence robot, it can come with multiple difficulties to implement in a manner that would make the user feel comfortable. One of those tasks is choosing a locomotion control method. Traditional locomotion control methods for telepresence robot, such as joysticks, might be easy to use but are lacking in immersion. Non-traditional locomotion control methods, for example, a treadmill-type might increase the immersion but the cost of equipment is too high for many users. In this study, we wanted to explore if the Wii Balance Board could be a suitable locomotion control method for a virtual reality telepresence robot. The Wii Balance Board was thought to possibly offer a low-cost and comfortable leaning-based locomotion control method for a telepresence robot. The Wii Balance Board was compared against joysticks, which were chosen as they are one of the most common locomotion control methods in virtual reality. For the experiment, we created a simulated environment in which the subjects had to operate a virtual robot through an assigned path with various obstacles. A 3D-model of the University of Oulu was used as the virtual environment, as it was readily available and represented a possible use case environment for a telepresence robot. The experiment consisted of nine three-part runs. After each run, the subjects filled out a form related to their preferences, and performance data was collected during each run. We had planned to run experiments for 40 people, but due to the COVID-19 outbreak, we were forced to conduct tests with only two researchers instead. After analyzing the results, we conclude that the Wii Balance Board is not suitable for controlling virtual reality telepresence robots in the tested environments. The Wii Balance Board was fatiguing to use after moderate periods of time and did not offer accurate enough control to be used in scenarios other than open environments. For future studies, we suggested to explore other options for joysticks, such as a balance board which would be better-designed for leaning purposes to compensate for the fatigue caused by constant leaning.Wii Balance Boardin tehokkuus ohjausmenetelmänä virtuaalitodellisuus etäläsnärobotille. Tiivistelmä. Vaikka virtuaalitodellisuus voi huomattavasti edistää läsnäolontunnetta käyttäessä etäläsnäolorobottia, siihen voi liittyä useiden haasteiden toteuttaminen tavoilla, jotka saavat käyttäjä saadaan tuntemaan olonsa mukavaksi. Yksi näistä haasteista on liikkeenohjaustyylin valitseminen. Perinteiset liikkeenohjaustyylit etäläsnäolorobotille, kuten ohjaussauvat, voivat olla helposti käytettäviä, mutta puutteellisia immersion kannalta. Epätavanomaiset liikkeenohjaustyylit, kuten juoksumattotyyppiset, voivat lisätä immersiota, mutta laitteistojen kustannukset ovat monille käyttäjille liian suuret. Tässä tutkimuksessa halusimme selvittää, olisiko Wii Balance Board -tasapainolevy sopiva ohjausmenetelmä etäläsnäolorobotille virtuaalitodellisuudessa. Wii Balance Board voisi tarjota halvan ja mukavan nojaukseen perustuvan liikkeenohjaustyylin etäläsnäoloroboteille. Wii Balance Boardia verrattiin ohjaussauvoihin, jotka valittiin, koska ne ovat yksi yleisimmistä liikkeenohjausmenetelmistä virtuaalitodellisuudessa. Tutkimusta varten loimme simuloidun ympäristön, jossa testihenkilöt ohjasivat virtuaalista robottia annettua reittiä pitkin erinäisiä esteitä väistellen. Ympäristönä käytimme Oulun Yliopistosta luotua virtuaalista mallia, koska se oli helposti saatavilla ja kuvasi mahdollista käyttötapausta etäläsnäolorobotille. Tutkimus koostui yhdeksästä kolmiosaisesta kierroksesta. Jokaisen kierroksen jälkeen koehenkilö täytti kyselyn mieltymykseen liittyen ja kierroksilta kerättiin tietoja suorituskykyyn liittyen. Olimme suunnitelleet tutkimuksen toteutettavaksi 40 henkilöllä, mutta COVID-19 taudin puhkeamisen takia meidän oli pakko suorittaa kokeita vain kahdella tutkijalla. Tulosten analysoinnin jälkeen päättelimme, että Wii Balance Board ei ole sopiva virtuaalitodellisuus etäläsnäolorobottien ohjaamiseen testatuissa ympäristöissä. Wii Balance Board oli uuvuttava käyttää kohtalaisen pitkien ajanjaksojen jälkeen eikä se tarjonnut tarpeeksi tarkkaa ohjausta muissa, kuin avoimissa ympäristöissä. Tulevia tutkimuksia varten ehdotimme tutkia muita vaihtoehtoja ohjaussauvoille, kuten tasapainolevy, joka olisi paremmin suunniteltu nojaustarkoituksiin jatkuvan kaltevuuden aiheuttaman väsymyksen kompensoimiseksi

Leaning-based control of an immersive-telepresence robot

Abstract In this paper, we present an implementation of a leaning-based control of a differential drive telepresence robot and a user study in simulation, with the goal of bringing the same functionality to a real telepresence robot. The participants used a balance board to control the robot and viewed the virtual environment through a head-mounted display. The main motivation for using a balance board as the control device stems from Virtual Reality (VR) sickness; even small movements of your own body matching the motions seen on the screen decrease the sensory conflict between vision and vestibular organs, which lies at the heart of most theories regarding the onset of VR sickness. To test the hypothesis that the balance board as a control method would be less sickening than using joysticks, we designed a user study (N=32, 15 women) in which the participants drove a simulated differential drive robot in a virtual environment with either a Nintendo Wii Balance Board or joysticks. However, our pre-registered main hypotheses were not supported; the joystick did not cause any more VR sickness on the participants than the balance board, and the board proved to be statistically significantly more difficult to use, both subjectively and objectively. Analyzing the open-ended questions revealed these results to be likely connected, meaning that the difficulty of use seemed to affect sickness; even unlimited training time before the test did not make the use as easy as the familiar joystick. Thus, making the board easier to use is a key to enable its potential; we present a few possibilities towards this goal